OpenBioRQ: Unsolved Biomedical Research Questions for Agents
OpenBioRQ：面向智能体的未解决生物医学研究问题基准
🧭 智能体工具调用评估 · 忠实性探针
Upstage AI
首个未解决问题与工具调用结合的生物医学Agent基准，揭示~16%引用错误及高难点上的工具弃用崩溃
📌 工作参考价值（4 点）
- 在电商客服/推荐解释Agent中，采用无标准答案的查询评测工具调用忠实性，防止模型记忆答案而跳过检索
- 用经验性困难度锚定（参考模型集体失败的问题）构建高难度测试集，有效暴露工具弃用现象
- 引入冻结的试题检查清单（checklist）大幅提升评估一致性（Spearman从0.35→0.82），可迁移至内部评测流程
- 在最难问题上强制保留工具调用或设置工具使用下限，避免Agent过早放弃工具，保障回答可靠性